Monocular 3D human pose estimation is quite challenging due to the inherent ambiguity and occlusion, which often lead to high uncertainty and indeterminacy. On the other hand, diffusion models have recently emerged as an effective tool for generating high-quality images from noise. Inspired by their capability, we explore a novel pose estimation framework (DiffPose) that formulates 3D pose estimation as a reverse diffusion process. We incorporate novel designs into our DiffPose that facilitate the diffusion process for 3D pose estimation: a pose-specific initialization of pose uncertainty distributions, a Gaussian Mixture Model-based forward diffusion process, and a context-conditioned reverse diffusion process. Our proposed DiffPose significantly outperforms existing methods on the widely used pose estimation benchmarks Human3.6M and MPI-INF-3DHP.
translated by 谷歌翻译
细粒度识别的目的是成功区分具有微妙差异的动作类别。为了解决这个问题，我们从人类视觉系统中获得灵感，该系统包含大脑中专门用于处理特定任务的专业区域。我们设计了一个新型的动态时空专业化（DSTS）模块，该模块由专门的神经元组成，这些神经元仅针对高度相似的样品子集激活。在训练过程中，损失迫使专门的神经元学习判别性细粒差异，以区分这些相似的样品，从而改善细粒度的识别。此外，一种时空专业化方法进一步优化了专业神经元的架构，以捕获更多的空间或时间细粒信息，以更好地解决视频中各种时空变化的范围。最后，我们设计了上游下游学习算法，以优化训练过程中模型的动态决策，从而提高DSTS模块的性能。我们在两个广泛使用的细粒度识别数据集上获得了最先进的性能。
translated by 谷歌翻译
早期动作预测旨在在完全执行动作之前成功预测其类标签。这是一个具有挑战性的任务，因为不同动作的开始阶段可能非常相似，只有微妙的歧视差异。在本文中，我们提出了一个新颖的专家检索和组装（ERA）模块，该模块检索并组装了一组最专业的专家，该专家最专门使用歧视性微妙差异，以将输入样本与其他高度相似的样本区分开来。为了鼓励我们的模型有效地使用细微的差异进行早期行动预测，我们促使专家仅区分高度相似的样本，迫使这些专家学会使用这些样品之间存在的细微差异。此外，我们设计了一种有效的专家学习率优化方法，可以平衡专家的优化并带来更好的性能。我们在四个公共行动数据集上评估了我们的ERA模块，并实现最先进的性能。
translated by 谷歌翻译
2023-01-01
As natural language processing (NLP) for gender bias becomes a significant interdisciplinary topic, the prevalent data-driven techniques such as large-scale language models suffer from data inadequacy and biased corpus, especially for languages with insufficient resources such as Chinese. To this end, we propose a Chinese cOrpus foR Gender bIas Probing and Mitigation CORGI-PM, which contains 32.9k sentences with high-quality labels derived by following an annotation scheme specifically developed for gender bias in the Chinese context. Moreover, we address three challenges for automatic textual gender bias mitigation, which requires the models to detect, classify, and mitigate textual gender bias. We also conduct experiments with state-of-the-art language models to provide baselines. To our best knowledge, CORGI-PM is the first sentence-level Chinese corpus for gender bias probing and mitigation.
translated by 谷歌翻译
在过去的十年中，修剪神经网络已经流行，当时证明可以安全地从现代神经网络中安全地删除大量权重，而不会损害准确性。从那时起，已经提出了许多修剪方法，每种方法都比以前更好。如今，许多最先进的技术（SOTA）技术依赖于使用重要性得分的复杂修剪方法，通过反向传播获得反馈或在其他等方面获得基于启发式的修剪规则。我们质疑这种引入复杂性的模式，以获得更好的修剪结果。我们对这些SOTA技术基准针对全球幅度修剪（全球MP）（一个天真的修剪基线），以评估是否确实需要复杂性来实现更高的性能。全球MP按其幅度顺序排列权重，并修理最小的权重。因此，它以香草形式是最简单的修剪技术之一。令人惊讶的是，我们发现香草全球MP的表现优于所有其他SOTA技术，并取得了新的SOTA结果。它还可以在拖叉稀疏方面取得良好的性能，当以逐渐修剪的方式进行修剪时，我们发现这是增强的。我们还发现，全球MP在具有卓越性能的任务，数据集和模型之间可以推广。此外，许多修剪算法以高稀疏速率遇到的一个常见问题，即可以通过设置要保留在每层中的最小权重阈值来轻松固定在全球MP中。最后，与许多其他SOTA技术不同，全球MP不需要任何其他特定算法的超参数，并且非常简单地调整和实施。我们在各种模型（WRN-28-8，Resnet-32，Resnet-50，Mobilenet-V1和FastGrnn）和多个数据集（CIFAR-10，Imagenet和HAR-2）上展示了我们的发现。代码可在https://github.com/manasgupta-1/globalmp上找到。
translated by 谷歌翻译
在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。
translated by 谷歌翻译
深度学习的出现导致了许多应用程序，这些应用改变了已应用的研究领域的景观。但是，随着流行的增加，多年来，经典深层神经网络的复杂性有所增加。结果，这导致在具有空间和时间限制的设备上部署期间有很大的问题。在这项工作中，我们对非易失性记忆中目前的进步进行了综述，以及使用电阻RAM记忆，尤其是回忆录的使用如何帮助进步深度学习的研究状态。换句话说，我们希望提出一种意识形态，即记忆技术领域的进步可以极大地影响和影响对边缘设备的深度学习推断。
translated by 谷歌翻译
视觉变压器（VIT）正在出现，并且在计算机视觉任务中的准确性显着提高。但是，它们的复杂架构和巨大的计算/存储需求对新硬件加速器设计方法施加了紧迫的需求。这项工作提出了基于提议的混合速度量化的FPGA感知自动VIT加速框架。据我们所知，这是探索模型量化的第一个基于FPGA的VIT加速框架。与最先进的VIT量化工作（仅无硬件加速的算法方法）相比，我们的量化在相同的位宽度下可实现0.47％至1.36％的TOP-1精度。与32位浮点基线FPGA加速器相比，我们的加速器在框架速率上的提高约为5.6倍（即56.8 fps vs. 10.0 fps），对于DeitBase的ImagEnet数据集，精度下降了0.71％。
translated by 谷歌翻译
视频识别是由端到端学习范式主导的 - 首先初始化具有预审预周化图像模型的视频识别模型，然后对视频进行端到端培训。这使视频网络能够受益于验证的图像模型。但是，这需要大量的计算和内存资源，以便在视频上进行填充以及直接使用预审计的图像功能的替代方案，而无需填充图像骨架会导致结果不足。幸运的是，在对比视力语言预训练（剪辑）方面的最新进展为视觉识别任务的新途径铺平了道路。这些模型在大型开放式图像文本对数据上进行了预测，以丰富的语义学习强大的视觉表示。在本文中，我们介绍了有效的视频学习（EVL） - 一种有效的框架，用于直接训练具有冷冻剪辑功能的高质量视频识别模型。具体来说，我们采用轻型变压器解码器并学习查询令牌，从剪辑图像编码器中动态收集帧级空间特征。此外，我们在每个解码器层中采用局部时间模块，以发现相邻帧及其注意力图的时间线索。我们表明，尽管有效地使用冷冻的骨干训练，但我们的模型在各种视频识别数据集上学习了高质量的视频表示。代码可在https://github.com/opengvlab/feld-video-rencognition上找到。
translated by 谷歌翻译
图表卷积网络（GCNS）已成为最先进的图形学习模型。但是，它可以令人难以置于大图数据集的推断GCNS，这会将其应用于大型实际图表并阻碍更深层更复杂的GCN图形的探讨。这是因为真实世界图可能非常大而稀疏。此外，GCN的节点度倾向于遵循幂律分布，因此具有高度不规则的邻接矩阵，导致数据处理和移动中的禁止低效率，从而显着地限制了可实现的GCN加速效率。为此，本文提出了一种GCN算法和加速器协同设计框架被称为GCOD，其在很大程度上可以缓解上述GCN不规则性并提高GCNS推理效率。具体地，在算法级别上，GCOD集成了分割和征服GCN训练策略，该训练策略将图形偏离在本地邻域中的密集或稀疏，而不会影响模型精度，从而导致（主要）的图形邻接矩阵仅仅是两个级别的工作量并享受大部分增强的规律性，从而轻松加速。在硬件水平上，我们进一步开发了一个具有分离发动机的专用双子加速器，以处理每个上述密集和稀疏工作负载，进一步提高整体利用率和加速效率。广泛的实验和消融研究验证了我们的GCOD始终如一地减少了与CPU，GPU和现有技术GCN加速器相比的15286倍，294倍，7.8倍和2.5倍的加速，包括HYGCN和AWB -GCN分别在保持甚至提高任务准确性的同时。
translated by 谷歌翻译